((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto)) (Ajout d'un commentaire d'Anthropic, d'un expert et d'un sénateur, ainsi que d'informations contextuelles dans les paragraphes 10 à 17)
* OpenAI et Anthropic sous les feux de la rampe suite à la fuite d’agents IA
* OpenAI aurait découvert de nouvelles évasions d’agents, selon certaines sources
* Cette découverte a eu lieu dans le cadre de l'enquête sur l'intrusion chez Hugging Face
* On ne pensait pas que les agents avaient quitté le réseau d’OpenAI
par Deepa Seetharaman et Raphael Satter
OpenAI a découvert d’autres cas dans lesquels des agents autonomes se sont échappés de leur environnement de confinement, alors que l’entreprise élargit son enquête sur l’incident de piratage survenu ce mois-ci chez la société technologique Hugging Face, qui a attiré l’attention du monde entier, ont déclaré vendredi deux personnes proches du dossier. Ces nouvelles évasions ont été mises au jour dans le cadre de l’enquête annoncée publiquement par l’entreprise visant à déterminer comment l’un de ses agents s’était échappé ce mois-ci d’un environnement de test censé être confiné, ont précisé ces deux personnes, et OpenAI examine désormais également ces cas. L’une des sources a indiqué que ces évasions étaient de nature limitée et qu’aucun des agents ne semblait avoir quitté le réseau d’OpenAI. Un porte-parole d’OpenAI a renvoyé à un communiqué publié mardi par l’entreprise , indiquant que celle-ci examinait “l’activité plus large de nos modèles” en plus de l’intrusion de Hugging Face.
La découverte de nouveaux comportements indésirables chez OpenAI, même s’ils sont de nature limitée, pourrait alimenter la volonté croissante de réglementation émanant de la Maison Blanche et d’ailleurs. L’enquête élargie menée par OpenAI a été lancée peu avant que son principal concurrent, Anthropic, ne révèle que ses modèles étaient également à l’origine d’une série d’intrusions ayant entraîné des failles de sécurité chez trois autres entreprises depuis le mois d’avril, selon les deux sources et une troisième source proche du dossier. La récente découverte d’autres évasions passées chez OpenAI n’avait pas été signalée auparavant.
DES INQUIÉTUDES CROISSANTES
Les experts en sécurité de l’IA ont déclaré que ces nouvelles révélations brossent le portrait d’un groupe de laboratoires de pointe dont la capacité à développer des agents de piratage autonomes dangereux dépasse leur capacité à les garder sous contrôle.
“Nous avons tout un secteur où les personnes qui conçoivent, développent et commercialisent ces outils ne parviennent pas elles-mêmes à suivre le rythme pour les développer de manière responsable et en garantir la sécurité”, a déclaré Maurice Chiodo, mathématicien travaillant au Centre for the Study of Existential Risk de l’université de Cambridge.
Reuters n’a pas pu déterminer avec précision le nombre d’incidents recensés par les enquêteurs d’OpenAI, ni le moment ni les circonstances dans lesquelles ils se sont produits. Les trois sources ont indiqué qu’OpenAI et des experts externes examinaient les données des journaux d’activité datant du début de l’année afin de comprendre ce qui s’était passé.
OpenAI a ouvert cette enquête à la suite de l’intrusion survenue début juillet chez Hugging Face, où un agent d’OpenAI s’est déchaîné pendant plusieurs jours au sein du réseau d’une autre entreprise, dans une tentative ratée de tricher lors d’un test interne. Dans le cadre de cette série d’attaques, OpenAI a indiqué que quatre comptes appartenant à quatre autres entreprises avaient également été compromis. L’une de ces entreprises était Modal, basée à New York, ont précisé des responsables de cette société. M. Chiodo a déclaré que ses inquiétudes avaient été renforcées par des indications selon lesquelles ni OpenAI ni Anthropic ne surveillaient les agents au moment où ceux-ci se sont déchaînés. Reuters avait précédemment rapporté qu’OpenAI ne s’était rendu compte que son agent s’était introduit chez Hugging Face qu’après que l’entreprise eut maîtrisé le piratage, contacté le FBI et rendu publique l’intrusion. OpenAI a déclaré que le reportage de Reuters contenait des inexactitudes, mais n’a pas répondu lorsqu’on lui a demandé de quelles inexactitudes il s’agissait. Dans son communiqué publié jeudi , dans lequel elle révélait comment ses propres agents avaient piraté des victimes en ligne, Anthropic a laissé entendre qu’elle ne les surveillait pas en temps réel, affirmant que “la surveillance en temps réel des journaux d’évaluation aurait permis de détecter le problème plus tôt”.
M. Chiodo a estimé que cela révélait un manque de surveillance adéquate.
“On dirait qu’ils ne regardaient même pas”, a déclaré M. Chiodo.
Anthropic a expliqué que, bien qu’un système de surveillance en temps réel ait été mis en place, celui-ci n’avait pas été utilisé “pour cette surface d’attaque” en raison d’un malentendu entre l’entreprise d’IA et un partenaire.
NOUVELLE SURVEILLANCE GOUVERNEMENTALE
L’ampleur croissante de l’affaire des agents d’IA hors de contrôle a déjà intensifié la pression exercée par les législateurs et les responsables aux États-Unis et en Europe pour instaurer une nouvelle surveillance gouvernementale des laboratoires dont les modèles les alimentent. “Nous étudions des mesures de contrôle”, a déclaré jeudi le président américain Donald Trump aux journalistes . Vendredi, la Commission européenne a indiqué avoir tenu des discussions avec OpenAI et Anthropic au sujet de ces incidents de piratage.
Mark Warner, principal représentant démocrate au sein de la commission du renseignement du Sénat américain, a déclaré vendredi que l’incident chez Anthropic “me confirme que, sur le plan législatif, nous avons raison d’exiger des tests de capacités obligatoires pour ces modèles avancés”.
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer